Visualización y geolocalización de datos
Máster en Data Science & Business Analytics (con R Software)
Gema Fernández-Avilés
Diego Hernangómez
2022-01-10
Objetivos de aprendizaje
¿Por dónde empezamos? Recursos interesantes
Libros de referencia:
Recursos de estadísitca espacial en R:
Otros recursos web interesantes:
- Libro de Ruben
- Rositter
- Libro Hengl
- Libro de Páez
La idea es que en los apuntes el código vaya oculto y luego se lo pasamos. ¿Te parece bien?
1 La revolución de los geodatos
Que estamos en la la era del dato, que los datos son el petroleo del siglo XXI y que estamos rodeados de datos es una cuestión que ya hemos hecho inherente a nosotros. Estamos en el momento del dato, donde la profesión de Data Scientist se ha convertido en la profesión más sexy del siglo XXI según vaticinó en 2012 Harvard Business Review. Cada segundo se producen 1,7 MB de datos/persona y cada año esta cifra se duplica se duplica.
Este incremento exponencial de los datos ha sido posible, sin duda, gracias al desarrollo de la tecnología, los ordenadores, los teléfonos móviles móviles, los satélites, internet, etc… y asociado a estas nuevas herramientas, se ha producido una lluvia sin precedentes hasta el momento de datos espaciales o datos georreferenciados. Cada teléfono inteligente tiene un receptor de posicionamiento global (GPS) y una multitud de sensores en dispositivos que van desde satélites y vehículos semiautónomos hasta científicos ciudadanos que miden incesantemente cada parte del mundo. La tasa de datos producidos es abrumadora. Un vehículo autónomo, por ejemplo, puede generar 100 GB de datos por día (The Economist, 2016). Los datos de teledetección de satélites se han vuelto demasiado grandes para analizar los datos correspondientes con una sola computadora.
Esta revolución de los geodatos y el análisis de los datos espaciales no sólo impulsa la demanda de hardware informático de alto rendimiento y software escalable y eficiente para manejar y extraer la señal del ruido, lo que se conoce como Geocomputación, sino que ha dado lugar una nueva rama de conocimiento, Spatial Data Scicene (SDS) o Ciencia de Datos Espaciales.
Aquí se podrían representar los datos de movilidad Propuesta: Ejemplo de movilidad covid. HECHO
2 Geocomputación y R-spatial
2.1 ¿Qué es la geocomputación?
La geocomputación es un término relativamente nuevo pero influenciado por otros términos clásicos. La geocomputación puede definirse de manera sencilla como “el proceso de aplicar tecnologías de computación a problemas geográficos” (rees1998?). (geocompu2000?) aporta más elementos formales a esta definición destacando que “la geocomputación trata sobre los diferentes tipos de geodatos, y sobre el desarrollo de geo-herramientas relevantes en un contexto científico”.
La geocomputación, por tanto, trata de aplicar técnicas de análisis y estudio de datos a un tipo de datos específicos: los datos espaciales.
La geocomputación está muy relacionada con otros términos como los Sistema de información geográfica (GIS, del inglés, Geographic Information Systems), y con diversos tipos de campos científicos, como las Geociencias, las Ciencias atmosféricas y climáticas, la Geoinformática, la Topología, la Ecología y las Ciencia de datos geográficos (GDS, Geographic Data Science).
Cada término comparte un énfasis en un enfoque científico (que implica reproducible y falsable) influenciado por los GIS, aunque sus orígenes y principales campos de aplicación difieren. La geocomputación es ámpliamente utilizada en ámbitos como la sociología, análisis político o el desarrollo de aplicaciones para móviles.
Por tanto, usamos geocomputación como un sinónimo aproximado que encapsula a todas las ciencias que buscan usar datos geográficos para trabajos científicos aplicados.
2.2 R y R-spatial
3 Estadística espacial
(lo tengo literal del artículo mio de AHEPE, resumir)
La estadística espacial reconoce y aprovecha la ubicación espacial de los datos a la hora de diseñar, recopilar, gestionar, analizar y mostrar las observaciones. Éstas son generalmente dependientes, si bien existen modelos espaciales a disposición del investigador que permiten tratar con dicha dependencia espacial a la hora de llevar a cabo labores de predicción. La estadística espacio-temporal incorpora, además, el tiempo y su interacción con el espacio como argumento de ayuda en tales labores predictivas.
Las mediciones y modelos espaciales están presentes, sorprendentemente, en una amplia variedad de disciplinas científicas. Los orígenes de la vida humana vinculan los estudios de la evolución de las galaxias, la estructura de las células biológicas y los patrones de asentamiento arqueológicos. Los ecologistas estudian las interacciones entre plantas y animales. Silvicultores y agricultores necesitan investigar las variaciones que se producen en el terreno para sus experimentos. La estimación de las precipitaciones y de las reservas de oro y petróleo es de vital importancia económica. Estos son, entre otros, buenos ejemplos de la importancia del espacio (espacio-tiempo en su caso) en el mundo de la Ciencia.
En todo caso, la geología, la edafología, el tratamiento de imágenes, la epidemiología, la agronomía, la ecología, la silvicultura, la astronomía, el estudio de la atmósfera, la economía, o simplemente, cualquier disciplina que trabaje con datos espaciales recopilados de diferentes lugares y en distintos instantes temporales, necesita del desarrollo de modelos geoestadísticos que indiquen la estructura e intensidad de la dependencia espacial y/o espacio-temporal presente en los fenómenos que comprenden.
Sin embargo, el estudio de la variabilidad espacial, y sobre todo espacio-temporal, es una disciplina relativamente nueva en el marco de la Estadística, lo que explica la escasez de instrumentos de estadística espacial 30 años atrás. En los últimos 10 años ha habido una creciente toma de conciencia de esta necesidad, habiéndose realizado un gran esfuerzo por buscar herramientas adecuadas y útiles a tales efectos. Y todo ello porque utilizar modelos espaciales o espacio-temporales para caracterizar y explotar la dependencia espacial (o espacio-temporal) de un conjunto de observaciones tiene importantes ventajas:
Modelos más generales, ya que, en la mayoría de los casos, los modelos clásicos que no tienen en consideración la dimensión espacial o la interacción de las dimensiones espacial y temporal son un caso particular de un modelo espacial o espacio-temporal.
Estimaciones más eficientes: de la tendencia, de los efectos de las variables explicativas, de promedios regionales,…
Mejora de las predicciones: más eficientes, con propiedades de extrapolación más estables,…
La variación espacial no explicada en la estructura de la media debe ser absorbida por la estructura del error, por lo que un modelo que incorpore la dependencia espacial puede decirse que está protegido frente a una mala especificación de este tipo. Esto, en muchos casos, tiene como resultado una simplificación en la especificación de la tendencia; en general, los modelos con dependencia espacial suelen tener una descripción más parsimoniosa (en ocasiones con muchos menos parámetros) que los clásicos modelos de superficie de tendencia.
Estas mejoras de la estadística espacial y espacio-temporal, junto con el fuerte y reciente desarrollo de los Sistemas de Información Geográfica o GIS (Geographic Information System), han propiciado que en la actualidad exista una importante motivación por la búsqueda de herramientas espaciales o espacio-temporales.
3.1 Antes de continuar… dependencia espacial.
Frecuentemente los datos tienen una componente espacial y/o temporal asociada a ellos y es de esperar que datos cercanos en el espacio o en el tiempo sean más semejantes que aquellos que están más alejados; en cuyo caso no deben ser modelados como estadísticamente independiente, sino que habrá que tomar en cuenta esa dependencia espacial o espacio-temporal.
De forma natural y de acuerdo a la Ley Tobler (1973) surge la idea de que los datos cercanos en el espacio o en el tiempo serán más similares y estarán más correlacionados entres sí que aquellos que están más lejanos. Además, esta correlación disminuye al aumentar la separación entre ellos, por lo que se puede pensar en la presencia de una dependencia espacial o espacio-temporal. Esto da lugar al concepto de proceso espacial o espacio-temporal.
Si los datos no exhiben dependencia espacial no tiene sentido aplicar las herramientas de estadística espacial. Veamos un ejemplo simulado de unos datos que muestras dependencia espacial y otros puramente aleatrorios.
library(geoR)
library(fields)
par(mfrow = c(1, 2))
set.seed(2022)
sim1 <- grf(441, cov.pars = c(1, 0.6))
#> grf: simulation(s) on randomly chosen locations with 441 points
#> grf: process with 1 covariance structure(s)
#> grf: nugget effect is: tausq= 0
#> grf: covariance model 1 is: exponential(sigmasq=1, phi=0.6)
#> grf: decomposition algorithm used is: cholesky
#> grf: End of simulation procedure. Number of realizations: 1
points.geodata(sim1, main = "Dependencia espacial (positiva) (i)", col = tim.colors(), cex.max = 3)
# Independencia
set.seed(2022)
sim3 <- grf(201, cov.pars = c(0.01, 0))
#> grf: simulation(s) on randomly chosen locations with 201 points
#> grf: process with 1 covariance structure(s)
#> grf: nugget effect is: tausq= 0
#> grf: covariance model 1 is a pure nugget effect
#> grf: decomposition algorithm used is: cholesky
#> grf: End of simulation procedure. Number of realizations: 1
points.geodata(sim3, main = "Independencia", col = tim.colors(), cex.max = 3)
Comentar
par(mfrow = c(1, 2))
set.seed(2022)
sim2 <- grf(441, grid = "reg", cov.pars = c(1, 0.25))
#> grf: generating grid 21 * 21 with 441 points
#> grf: process with 1 covariance structure(s)
#> grf: nugget effect is: tausq= 0
#> grf: covariance model 1 is: exponential(sigmasq=1, phi=0.25)
#> grf: decomposition algorithm used is: cholesky
#> grf: End of simulation procedure. Number of realizations: 1
image(sim2, main = "Dependencia espacial (positiva) (ii)", col = tim.colors())
# Independencia
set.seed(2022)
sim4 <- grf(441, grid = "reg", cov.pars = c(0.01, 0))
#> grf: generating grid 21 * 21 with 441 points
#> grf: process with 1 covariance structure(s)
#> grf: nugget effect is: tausq= 0
#> grf: covariance model 1 is a pure nugget effect
#> grf: decomposition algorithm used is: cholesky
#> grf: End of simulation procedure. Number of realizations: 1
image(sim4, main = "Independencia", col = tim.colors())
3.2 Datos espaciales GEMA
Los datos espaciales, también conocidos como datos geoespaciales, son aquellos datos relacionados o que contienen información de una localización o área geográfica de la superficie de la Tierra.
La forma más intuitiva de representar los datos espaciales es a través de un mapa.
Propuesta: mapa temático cualquiera con poco código para empezar como el libro de SDS https://keen-swartz-3146c4.netlify.app/intro.html#a-first-map
Y comentar algunas características de los datos espaciales que luego se explican.# um mapa temático cualquiera con muy poco código, el de renta pero simplificado??***3.3 Clasificación de datos espaciales
Tal y como acabamos de señalar y de acuerdo con Schabenberger y Gotway (2005, p. 6), debido a que los datos espaciales surgen en una gran variedad de campos y aplicaciones, también hay una gran variedad de tipos de datos espaciales, estructuras y escenarios. Por tanto, una clasificación exhaustiva de los datos espaciales sería un reto muy difícil y hemos apostado por una clasificación general, simple y útil de datos espaciales proporcionada por Cressie (1993).
La clasificación de Cressie de datos espaciales se basa en la naturaleza del dominio espacial en estudio. Dependiendo de esto, podemos tener: datos geoestadísticos, datos de patrones de puntos y datos latice.
Siguiendo a Cressie (1993), sea $s ∈ ℝ^d$ una localización en un espacio Euclideo \(d-\)dimensional y ${Z(s)∶ s ∈ ℝ^d}$ una función aleatoria espacial, donde \(Z\) representa el atributo en el cual estamos interesados:
Datos geoestadísticos: Surgen cuando el dominio en estudio es conjunto y fijo \(D\). Es decir: (i) \(Z(s)\) se puede observar en cualquier punto del dominio (continuo); y (ii) los puntos en \(D\) no son estocásticos (son fijos, \(D\) es el mismo para todas las realizaciones de la función aleatoria espacial ).
Algunos ejemplos de datos geoestadísticos son el nivel de un contaminante en una ciudad, los valores de precipitación o temperatura del aire en un país, las concentraciones de metales pesados en la capa superior del suelo de una región, etc.
Es obvio que, al menos en teoría, el nivel de un contaminante específico podría medirse en cualquier lugar de la ciudad; Lo mismo puede decirse de las mediciones de precipitaciones o temperaturas del aire en un país o concentraciones de un metal pesado en una región.
Sin embargo, en la práctica, no es posible una observación exhaustiva del proceso espacial. Por lo general, el proceso espacial se observa en un conjunto de ubicaciones (por ejemplo, el nivel de un contaminante específico en una ciudad se observa en los puntos donde están ubicadas las estaciones de monitoreo) y, basado en tales valores observados, el análisis geoestadístico reproduce el comportamiento de el proceso espacial en todo el dominio de interés.
En el análisis geoestadístico lo más importante es cuantificar la correlación espacial entre observaciones (a través de la herramienta básica en geoestadística, el semivariograma) y utilizar esta información para lograr los objetivos anteriores.
# ejemploDatos reticulares: Surgen cuando: (i) el dominio bajo estudio \(D\) es discreto, es decir, \(Z(s)\) puede observarse en una serie de ubicaciones fijas que pueden enumerarse. Estas ubicaciones pueden ser puntos o regiones, pero generalmente son códigos postales, pistas censales, vecindarios, provincias, países, etc., y los datos en la mayoría de los casos son datos agregados espacialmente sobre estas áreas. Aunque estas regiones pueden tener una forma regular, normalmente la forma que tienen es irregular, y esto, junto con el carácter espacialmente agregado de la datos, es por lo que los datos latice tambien se denominan datos regionales. Y (ii) las ubicaciones en \(D\) no son estocásticas. Por supuesto, un concepto clave en el análisis de los datos lattice es el vecindario.
Algunos ejemplos de reticulares incluyen la tasa de desempleo por estados, los datos de delincuencia por comarcas, rendimientos agrícolas en parcelas, precios medios de la vivienda por provincias, etc.
# ejemploProcesos de puntos: Mientras que en los datos geoestadísticos y reticulares el dominio \(D\) es fijo, en los datos de patrones puntuales el dominio es discreto o continuo, pero aleatorio. Los patrones de puntos surgen cuando el atributo bajo estudio es la ubicación de los eventos (observaciones). Es decir, el interés radica en dónde ocurren eventos de interés.
Algunos ejemplos de patrones de puntos son la ubicación de incendios en una región española, la ubicación de los árboles en un bosque o la ubicación de nidos en una colonia de aves reproductoras, la localización de los delitos en una ciudad, entre muchas otras.
En estos En los casos, es obvio que D es aleatorio y los puntos de observación no dependen del investigador. El principal objetivo del análisis de patrones de puntos es determinar si la ubicación de los eventos tiende a exhibir un patrón sistemático sobre el área en estudio o, por el contrario, son aleatoriamente repartido.
Más concretamente, nos interesa analizar si la ubicación de los eventos es completamente aleatorio espacialmente (la ubicación donde ocurren los eventos no se ve afectada por la ubicación de otros eventos), uniforme o regular (cada punto está tan lejos de todos sus vecinos como sea posible) o agrupados o agregados (la ubicación de los eventos se concentra en grupos).
# ejemploLos formatos más comunes de datos espaciales son vectores y ráster.
Diego
4 Formatos de datos espaciales IGUAL SE PUEDE PONER UN NOMBRE MÁS GENÉRICO Y QUE VAYA TODOD
En el ámbito del análisis espacial en R, se pueden clasificar los datos o el formato?, pregunto sólo espaciales en función del modelo de datos (Lovelace, Nowosad, & Muenchow, 2019). Se pueden distinguir dos tipos de modelos de datos:
4.1 Datos vector
Este modelo está basado en puntos georeferenciados. Los puntos pueden representar localizaciones específicas, como la localización de edificios:
library(ggplot2)
library(sf)
# Hospitales en Toledo segun Eurostat
hosp_toledo <- st_read("data/hosp_toledo.geojson", quiet = TRUE)
ggplot() +
geom_sf(
data = hosp_toledo, aes(fill = "Centros Sanitarios"),
color = "blue"
) +
labs(
caption = "Datos: Eurostat",
title = "Hospitales y Centros de Salud en Toledo",
fill = ""
) +
theme_minimal() +
theme(legend.position = "bottom")
Estos puntos también pueden estar conectados entre sí, de manera que formen geometrías más complejas, como líneas y polígonos:
tajo <- st_read("data/tajo_toledo.shp", quiet = TRUE)
toledo <- st_read("data/toledo_ciudad.gpkg", quiet = TRUE)
ggplot(toledo) +
geom_sf(fill = "cornsilk2") +
geom_sf(data = tajo, col = "lightblue2", lwd = 2, alpha = 0.7) +
geom_sf(data = hosp_toledo, col = "blue") +
coord_sf(
xlim = c(-4.2, -3.8),
ylim = c(39.8, 39.95)
) +
theme_minimal() +
labs(title = "Ciudad de Toledo")
En el ejemplo anterior, el río Tajo está representado como una línea (sucesión de puntos unidos entre sí) y la ciudad de Toledo como un polígono (línea de puntos cerrada formando un continuo). A modo ilustrativo, podemos observar la descomposición en puntos de todos los datos espaciales representados en el gráfico anterior.
4.2 Datos raster
Los datos ráster son datos representandos en una rejilla rectangular de píxeles (denomindada matriz) que se puede visualizar en diversos dispositivo de representación. El caso más cotidiano de un ráster es una fotografía, donde la imagen se representa como una serie de celdas, determinadas por la resolución de la imagen (número total de píxeles, determinados como nº de píxeles en cada fila por nº de píxeles en cada columna) y el color que presenta cada uno de estos píxeles.
En el ámbito de los datos espaciales, la definición es muy similar. Un archivo ráster está formado por una malla regular de píxeles georreferenciada:
En el ejemplo anterior, el archivo ráster tiene únicamente una capa (ESP_alt). Eso implica que cada píxel tiene asociado un único valor, en este caso, la altitud media del terreno observada en cada píxel o celda.
| x | y | ESP_alt |
|---|---|---|
| -5.391667 | 40.3 | 1498.312 |
| -5.358333 | 40.3 | 1701.125 |
| -5.325000 | 40.3 | 1825.312 |
| -5.291667 | 40.3 | 1739.062 |
| -5.258333 | 40.3 | 1756.062 |
| -5.225000 | 40.3 | 1659.688 |
| -5.191667 | 40.3 | 1607.375 |
| -5.158333 | 40.3 | 1809.562 |
| -5.125000 | 40.3 | 1874.625 |
| -5.091667 | 40.3 | 1691.312 |
| -5.058333 | 40.3 | 1511.500 |
| -5.025000 | 40.3 | 1207.000 |
| -4.991667 | 40.3 | 1160.125 |
| -4.958333 | 40.3 | 1396.125 |
| -4.925000 | 40.3 | 1624.125 |
Los rásters pueden contener varias capas (o layers), de manera que cada píxel puede tener asociados varios valores. Volviendo al ejemplo de la fotografía, en un modelo simple de color RGB cada píxel lleva asociado 3 valores (rojo, verde o azul), de manera que al combinar las tres capas se puede definir un color distinto en cada píxel.
En el siguiente ejemplo vamos a usar una imagen de mapa georreferenciada, como las proporcionadas por servicios de mapas online, para analizar su composición.
tile <- rast("data/Toledo_multi_tile.tiff")
plotRGB(tile, mar = c(0, 0, 2, 0), main = "Provincia de Toledo")
plot(st_geometry(Tol_prov), add = TRUE)
El ráster se puede descomponer en las tres capas RGB mencionadas anteriormente:
| x | y | lyr.1 | lyr.2 | lyr.3 |
|---|---|---|---|---|
| -5.466412 | 40.34418 | 215.2128 | 208.1061 | 190.5410 |
| -5.463875 | 40.34418 | 228.0369 | 223.1854 | 211.2115 |
| -5.461338 | 40.34418 | 229.3495 | 224.3414 | 213.4325 |
| -5.458800 | 40.34418 | 215.8592 | 208.8660 | 191.2922 |
| -5.456263 | 40.34418 | 219.2696 | 212.8231 | 196.6812 |
| -5.453725 | 40.34418 | 235.0954 | 231.4222 | 222.4115 |
| -5.451188 | 40.34418 | 240.3514 | 237.9094 | 231.4736 |
| -5.448651 | 40.34418 | 237.2358 | 233.7561 | 226.2005 |
| -5.446113 | 40.34418 | 229.9570 | 225.3262 | 214.6201 |
| -5.443576 | 40.34418 | 226.7812 | 221.6796 | 209.2929 |
| -5.441038 | 40.34418 | 222.3593 | 216.5022 | 202.0188 |
| -5.438501 | 40.34418 | 220.9312 | 214.9060 | 200.0306 |
| -5.435964 | 40.34418 | 224.7755 | 219.2661 | 206.2156 |
| -5.433426 | 40.34418 | 222.0479 | 216.0124 | 201.6103 |
| -5.430889 | 40.34418 | 225.0516 | 219.8074 | 207.0263 |
Y cada capa se puede graficar de manera independiente
plot(tile$lyr.1,
main = "Raster tile: Layer 1",
col = hcl.colors(255, "Reds")
)
plot(tile$lyr.2,
main = "Raster tile: Layer 2",
col = hcl.colors(255, "Greens")
)
plot(tile$lyr.3, main = "Raster tile: Layer 3", col = hcl.colors(255, "Blues"))
4.3 CRS
4.4 Tipos de ficheros (ver contigo).
5 APLICACIÓNES:
para explicar cómo se hace un merge y luego se representa en un mapa o en unos puntos
6 EXTENSIONES:
ESPACIO-TEMPORAL SÍ. Pensar qué. Temperatura mínima? Mapas de contorno y en 3D, se usan mucho.
Leaflet: el de contaminación con las capas quedó muy bien, se puede poner.
bbox, elecciones (discreta), google satélite ? SE podía poner algo de COVID…
Todo muy sencillo y con un ejemplito
6.1 Mapas temáticos (esto podría ir dentro de los ejemplos…, ver con DIEGO)
mapSpain, tmap Datos que ya tenemos: -Medioambiente Madrid. -Temperatura mínima ESpaña - Alguno económico a nivel municipal para españa (PIB, PARO,..) - Alguno de La Palma.